语言模型(LMS)在从自然语言需求中生成代码方面表现出了极大的能力。在这项工作中,我们高度阐明了LMS生成的代码多样性,这是评估其代码生成功能的关键标准。缺乏专注于评估发电代码多样性的研究,这忽略了其在代码LMS中的重要性。因此,我们提出了一种评估代码多样性的系统ATIC方法,并引入了具有相似代码的各种指标。具体来说,我们引入了代码群集方法,该方法利用LMS在代码理解和推理中的功能,从而产生一组表示模型生成解决方案中算法数量的指标。我们通过将模型解决方案与人写的溶液进行对比,并量化各种因素对代码多样性的影响:模型大小,温度,指令调整和概率复杂性来广泛研究模型产生的解决方案的性质。我们的分析表明,模型生成的解决方案表现出低质量的多样性,研究界却忽略了这一多样性。此外,我们通过结合来自不同模型的解决方案并提高采样温度来提高代码多样性的方法。我们的发现强调说,可以借助异质模型和设置温度来增强代码多样性以上,这是由于功能正确性降解而尚未完全探索的。为了促进我们的研究指导,我们通过开源存储库公开分享我们的代码和数据集。
主要关键词